Modelowanie systemów dynamicznych przy użyciu dynamicznych sieci Bayesowskich

Bayesian networks (BNs) are powerful tools for modeling complex problems involving uncertain knowledge. They have been employed in practice in a variety of fields. Their extension to time-dependent domains, dynamic Bayesian networks (DBNs) allow to monitor and update the system as time procedes and predict further behavior of the system. Most practical uses of DBNs involve temporal influences of the first order, i.e., influences between neighboring time steps. This choice is a convenient approximation influenced by the existence of efficient algorithms for first order models and limitations of available tools. This paper presents how to create higher order dynamic Bayesian networks and shows that introducing higher order influences can improve the accuracy of the model. To introduce the formalism to the readers, it describes a hypothetical simplified model based on a DBN.Sieci Bayesowskie (Bayesian networks, BNs) są popularnym narzędziem do reprezentacji wiedzy w warunkach niepewnosci. Znalazły praktyczne zastosowanie w wielu dziedzinach. Ich rozszerzenie o domenę czasową dynamiczne sieci bayesowskie (dynamic Bayesian networks, DBNs) umozliwiają monitorowanie oraz aktualizację systemów zmieniających się wraz z upływem czasu, a takze predykcję przyszłego stanu takiego systemu. Większość praktycznych zastosowań dynamicznych sieci Bayesowskich bierze pod uwagę tylko zależności pierwszego rzędu, to znaczy, że bieżący stan systemu zale ży tylko od jego stanu w bezpośrednio poprzedzającym go kroku czasowym. Takie założenie jest uproszczeniem, wynikającym najprawdopodobniej z braku efektywnych narzędzi zdolnych obsłużyć modele wyższych rzędów. Niniejszy artykuł przedstawia na przykładzie sposób w jakim tworzy się modele wyższych rzędów oraz pokazuje, wpływy wyższych rzędów mogą zwiększyc jakość modelu

Porównanie metod uzupełniania danych brakujących w uczeniu modeli probabilistycznych

Missing data is a common problem in statistical analysis and most practical databases contain missing values of some of their attributes. Missing data can appear for many reasons. However, regardless of the reason for the missing values, even a small percent of missing data can cause serious problems with analysis reducing the statistical power of a study and leading to draw wrong conclusions. In this paper the results of handling missing observations in learning probabilistic models were presented. Two data sets taken from UCI Machine Learning Repository were used to learn the quantitative part of the Bayesian networks. To provide the opportunity to compare selected data sets did not contain any missing values. For each model data sets with variety of levels of missing values were artificially generated. The main goal of this paper was to examine whether omitting observations has an influence on model’s reliability. The accuracy was defined as the percentage of correctly classified records and has been compared to the results obtained in the data set not containing missing values.Brakujące dane są częstym problemem w analizie statystycznej, a większość baz danych zawiera brakujące wartości niektórych z ich atrybutów. Brakujące dane mogą pojawiać się z wielu powodów. Jednak bez względu na przyczynę brakujących wartości nawet ich niewielki procent może spowodować poważne problemy z analizą, zmniejszając siłę statystyczną badania i prowadząc do wyciągnięcia błędnych wniosków. W artykule przedstawiono wyniki uzupełniania danych brakujących w uczeniu modeli probabilistycznych. Dwa zestawy danych pobrane z repozytorium uczenia maszynowego UCI posłużyły do wytrenowania ilościowej części sieci bayesowskich. Aby zapewnić możliwość porównania wybrane zbiory danych nie zawierały żadnych brakujących wartości. Dla każdego modelu zbiory danych z różnymi poziomami brakujących wartości zostały sztucznie wygenerowane. Głównym celem tego artykułu było zbadanie, czy braki w obserwacjach mają wpływ na niezawodność modelu. Dokładność została zdefiniowana jako procent poprawnie zaklasyfikowanych rekordów i została porównana z wynikami uzyskanymi w zbiorze danych niezawierającym brakujących wartości

Modeling dynamic processes with memory by higher order temporal models

Most practical uses of Dynamic Bayesian Networks (DBNs) involve temporal influences of the first order, i.e., influences between neighboring time steps. This choice is a convenient approximation influenced by the existence of efficient algorithms for first order models and limitations of available tools. In this paper, we focus on the question whether constructing higher time-order models is worth the effort when the underlying system’s memory goes beyond the current state. We present the results of an experiment in which we successively introduce higher order DBN models monitoring woman’s monthly cycle and measure the accuracy of these models in estimating the fertile period around the day of ovulation. We show that higher order models are more accurate than first order models. However, we have also observed over-fitting and a resulting decrease in accuracy when the time order chosen is too high

Porównanie metod dyskretyzacji danych w uczeniu modeli probabilistycznych

Very often statistical method or machine learning algorithms can handle discrete attributes only. And that is why discretization of numerical data is an important part of the pre–processing. This paper presents the results of the problem of data discretization in learning quantitative part of probabilistic models. Four data sets taken from UCI Machine Learning Repository were used to learn the quantitative part of the Bayesian networks. The continuous variables were discretized using two supervised and two unsupervised discretization methods. The main goal of this paper was to study whether method of data discretization in given data set has an influence on model’s reliability. The accuracy was defined as the percentage of correctly classified records.Bardzo często algorytmy uczenia maszynowego nie są przystosowane do korzystania ze zmiennych ciągłych. Z tego powodu dyskretyzacja danych jest istotną częścią wstępnego przetwarzania. W artykule przedstawiono wyniki prac nad problemem dyskretyzacji danych w uczeniu modeli probabilistycznych. Cztery zestawy danych pobrane z repozytorium uczenia maszynowego UCI zostały wykorzystane do nauczenia parametrów ilościowej części sieci bayesowskich. Występujące w wybranych zbiorach zmienne ciągłe były dyskretyzowane przy użyciu dwóch metod nadzorowanych i dwóch nienadzorowanych. Głównym celem tego artykułu było zbadanie, czy metoda dyskretyzacji danych w danym zbiorze ma wpływ na niezawodność modelu. Dokładność metod była definiowana jako odsetek poprawnie sklasyfikowanych rekordów

Modeling women's menstrual cycles using PICI gates in Bayesian network

A major difficulty in building Bayesian network (BN) models is the size of conditional probability tables, which grow exponentially in the number of parents. One way of dealing with this problem is through parametric conditional probability distributions that usually require only a number of parameters that is linear in the number of parents. In this paper, we introduce a new class of parametric models, the Probabilistic Independence of Causal Influences (PICI) models, that aim at lowering the number of parameters required to specify local probability distributions, but are still capable of efficiently modeling a variety of interactions. A subset of PICI models is decomposable and this leads to significantly faster inference as compared to models that cannot be decomposed. We present an application of the proposed method to learning dynamic BNs for modeling a woman's menstrual cycle. We show that PICI models are especially useful for parameter learning from small data sets and lead to higher parameter accuracy than when learning CPTs